Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics
将黑盒机器学习蒸馏为小型自解释语言模型用于学习分析
🧭 模型蒸馏 · 可解释 AI
Department of Human Development, Teachers College Columbia University
提出两阶段微调管线，把黑盒估计器及其事后解释蒸馏进小型开源 LLM，实现离线个体级预测与自然语言解释
📌 工作参考价值（4 点）
- 蒸馏+事后解释作为 mentor 的架构可迁移：把现有黑盒排序/预测模型（如 GBDT、FM、DNN）及其 SHAP/LIME/注意力归因一起蒸馏到小型 LLM，业务侧就能用自然语言给商家/运营解释推荐或广告出价原因，同时保留个体级预估。
- faithfulness-first 评估思路值得借鉴：不只评测文本流畅度，而是校验叙述是否忠实于归因结果，是否引用虚假特征、编造数值。电商生成式推荐/解释场景可以照搬这种审计机制，当作文本质量门槛。
- 离线小模型部署降低隐私与成本压力：文中蒸馏后 2B LLM 可在笔记本离线运行，学生记录不出本机。对电商场景可类比：把用户行为序列、特征留在本地推理，避免调用云端大模型，既省成本又满足隐私合规。
- 不平衡决策的警示：严重类别不平衡下，文本解释虽然流畅但决策会塌缩到多数类。做推荐/广告中的解释型 Agent 时，需要单独监控决策分布，不能因为语言流畅就认为模型可靠。